2. 네트워크의 출력을 기반으로 나중에 설명할 비용 함수를 이용해서 최소화해야할 오차를 계 산

3. 네트워크에 있는 모든 가중치에 대한 도함수를 찾아 오차를 역전파하고 모델을 업데이트 한다.

위 단계를 여러 에포크 동안 반복하고 MLP 가중치를 학습한다.

클래스 레이블을 예측하기 위해 정방향 계산으로 네트워크 출력을 만들고, 임계함수를 적용한다.

클래스 레이블은 원-핫 인코딩으로 표현된다.

pi(z_j)=a_j 가 된다.

활성화 함수에 대한 그레디언트 기반 방식을 사용해서 뉴런과 연결된 가중치를 학습해야 한다.

복잡한 MLP 모델에 비선형 활성화 함수를 이용 해야 한다.(그레디언트 기반 방식을 사용하여 가중치 학습할려면 미분 가능해야 한다.)

ex) 로지스틱 회귀에서 시그모이드(로지스틱)활성화 함수

자세한 수식 및 행렬 표현 참고!

머신러닝교과서with파이썬,사이킷런,텐서플로_개정3판pg.482

각 층에서 입력을 순환시키지 않고, 다음 층으로 전달한다.

이는 순환 신경망과 다른 개념이다.